In de 12de eeuw bezat Vlamertinge al een kasteel en 1221 was er in een keure al sprake van Johan van Vlamertinge. Vlamertinge en het aangrenzende Elverdinge waren twee heerlijkheden die rechtstreeks afhingen van de graven van Vlaanderen en gedurende vele eeuwen onder het bestuur stonden van dezelfde heren, meestal bastaarden van de Vlaamse graven.
Het huidige kasteel van Vlamertinge, dicht bij de Kemmelbeek, werd in 1857-1858 opgetrokken in Vlaamse Renaissancestijl, onder impuls van burggraaf Pierre-Gustave du Parc. Het is het eerste kasteel dat werd ontworpen door de fameuze architect Joseph Schadde, die er daarna nog tientallen ontwierp in heel het land en in die tijd erg in was bij de rijke klasse.
Tijdens de Eerste Wereldoorlog werd het kasteel ingenomen door verschillende legereenheden, wat mee bracht dat het bouwwerk regelmatig in de vuurlinie lag. Binnenin werd het kasteel door jarenlange bezettingen volledig leeggeplunderd. Na de Grote Oorlog stelde kasteelheer burggraaf Maurice du Parc bereidwillig een groot deel van kasteel ter beschikking van het Amerikaanse rode kruis. Tijdens de Tweede Wereldoorlog werden in het kasteel Duitse militairen ingekwartierd waardoor het kasteel weer schade opliep, zij het eerder beperkt.
Al ruim anderhalve eeuw bewoont de familie du Parc ondertussen het kasteel. In 1974 was koning Boudewijn zelfs hoogstpersoonlijk in Vlamertinge aanwezig op de begrafenis van graaf Gratien du Parc Locmaria.